OpenVLHarness：面向真实世界视觉 Agent 工具使用的多模态记忆
🧭 多模态 Agent 工具调用与记忆增强推理
University of California, Los Angeles · Apple
通过能力层与持久多模态记忆统一工具输出，多模态 LLM 在 22 个基准上平均提升 9.7-12.6 分
📌 工作参考价值（4 点）
- 电商多模态购物助手中，可借鉴 capability layer + evidence rendering 将商品搜索、图像识别、价格/库存等异构工具输出统一转成结构化 observation，减少模型解析成本。
- persistent multimodal memory 按地址存储商品图、结构化数据、网页引用，支持多轮对话跨步骤引用，避免重复调用工具，适合商品对比、搭配推荐等需要持续上下文的任务。
- coding interface 对存储数据执行生成式程序，可用于多源数据联合计算，如比价、价格历史分析、风格一致性判断，把多个工具结果组合成可执行逻辑。
- 成本收益结论：中等推理 effort + 工具记忆比高 effort 纯推理更优且 token 成本低至 37%，提示业务 Agent 优先做工具集成而非一味增加推理预算。
HarnessEval-W：将视觉世界评估智能体化
🧭 多智能体分层评估世界模型
提出分层多智能体评估流程，把世界模型评估转化为可验证的证据树
📌 工作参考价值（4 点）
- 借鉴其分层 agent 评估架构：将复杂评估任务拆解为多个可测量子问题，每个子问题交给专门的子 agent 处理，父 agent 汇总证据。适合评估生成式推荐或搜索 Agent 的输出质量，例如分解「推荐相关性」「文本流畅性」「商品属性一致性」等维度并行诊断。
- 强调推理链与证据树：评估结果必须能追溯到具体证据，而非仅给出分数。在业务中可用于 user study 自动化替代，或对推荐理由、搜索改写结果做可解释的质量审计。
- 子 agent 配备定制上下文与诊断工具：可针对不同评估维度注入业务规则、商品知识图谱、历史 CTR 等工具，让评估更贴近业务场景。
- 开源 pipeline 可作为内部评测框架的基础，尤其适合多模态生成（如商品图、短视频、虚拟主播）的质量评估。
TRACE：分类学引导的多领域视觉推理环境
🧭 可验证奖励的视觉推理合成训练
Rochester Institute of Technology
基于场景语法与可执行任务程序构建可控、可验证的多域视觉推理数据，RL微调使VLM跨24基准平均提升3.5–4.1个百分点
📌 工作参考价值（4 点）
- 合成商品图像训练数据：借鉴场景语法（scene grammar）思想，按属性（背景、角度、材质）程序化生成大量商品图片，训练多模态模型精准理解商品属性，替代昂贵的人工拍摄。
- 可自动验证的视觉问答构造：利用可执行任务程序（task program）生成带精确答案的视觉问题，实现完全自动化的评测与奖励计算，可用于商品详情页问答、图像描述一致性校验等场景。
- RL微调提升多模态Agent决策：将RLVR框架迁移至真实业务指标（点击率、转化率等可计算信号），微调多模态Agent在图像排序、商品匹配等任务中的推理能力，无需额外人工标注。
- 分类学控制生成多样化训练样本：采用taxonomy-guided variation机制，可扩展到搜索词、查询意图的组合生成，丰富长尾覆盖，增强模型在电商推荐中的泛化能力。
MentalThink：在心理SVG世界中塑造思维
🧭 多模态视觉推理 · SVG中间表示
Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun
让多模态大模型生成并执行SVG代码作为中间视觉表示，实现可验证的空间推理。
📌 工作参考价值（4 点）
- 商品空间关系理解：用 SVG 生成商品轮廓与布局，辅助多模态模型理解复杂场景（如家具搭配、服装层次），提升搜索与推荐的准确性。
- Agent 多步规划：借鉴“心理图像”机制，在 Agent 执行动作前生成场景 SVG 草图，用于自我反思和步骤优化，提高任务成功率。
- 广告创意迭代：利用 SVG 的可编辑性，快速生成和调整广告图片的空间构图，结合 RL 迭代精炼，降低人工设计成本。
- 训练范式复用：SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略，适合需要精确控制输出格式（如图形代码）的生成式推荐场景。
V-Zero：无需答案标签的在线策略蒸馏与对比证据门控细粒度视觉推理框架
🧭 视觉推理 · 无监督蒸馏
Sichuan University · Xi'an Jiaotong University · TeleAI of China Telecom · Peking University
将在线策略蒸馏重新解释为负例无关的stop-gradient对齐，并提出对比证据门控解决轨迹级判别缺失，显著提升细粒度视觉推理效率
📌 工作参考价值（4 点）
- 在线策略蒸馏（OPD）替代标注：在商品图文理解、多模态推荐 Agent 中，可借鉴 OPD 让 MLLM 从自身生成的推理轨迹中学习，彻底摆脱人工标注答案标签的依赖，大幅降低标注成本。
- 对比证据门控机制：用问题相关的区域裁剪（正例）与无关区域（负例）构成视觉对比对，自动评估推理轨迹质量并门控 token 级蒸馏。可用于电商详情页细粒度问答、广告图文一致性校验等场景，提升模型对局部证据的利用能力。
- 训练效率跃升：V-Zero 比 SFT 方法快 5 倍以上，比 RL 基线快 10 倍以上，直接节省计算资源。在搜索推荐 Agent 的视觉子任务训练中，可优先考虑此类免探索、免标注的高效蒸馏方案。
- 与 Agent 框架的集成：方法天然适合 Agent 的多步推理，可将对比证据门控作为内部信号，指导 Agent 在搜索、推荐过程中更精准地聚焦可解释的视觉证据，并实现自我改进。
视觉并行思维者++：单策略多智能体视觉推理框架
🧭 多模态多智能体协作与推理优化 ★ 深度解读
Zhejiang University · Hunan University · Tianjin University · University of Chinese Academy of Sciences · Shanghai Jiao Tong University
提出单策略多智能体视觉推理系统，通过角色解耦优化和KV缓存复用减少幻觉，在六大基准上超越单轨迹方法。
📌 工作参考价值（4 点）
- 多 Agent 单策略架构：一个大模型通过角色词元条件化为多个子 agent，共享权重，降低部署成本，适合电商推荐系统中的多任务协作（如意图识别、对话管理、商品推荐）。
- 角色解耦优势分配：将不同角色的奖励和优势仅作用于对应词元段，避免梯度冲突。在推荐 Agent 中，可对规划、执行、总结模块分别设计奖励信号，精细优化。
- 固定任务分配模式：定义了两种固定分配模式（分块和扫描序），避免开放式规划的不稳定性。在商品搜索与推荐任务中，可以预定义子任务划分（如属性识别、价格比较、用户评论分析）来提升并行推理可靠性。
- KV 缓存复用推理引擎：通过共享视觉前缀并分叉生成 Worker 序列，显著降低多 Agent 推理的显存和时间开销，适合在线推理场景，可应用于多路召回或并行探索的推荐系统。
动态跨模态协调强化学习提升视觉推理
🧭 多模态大模型视觉推理训练优化
University of Trento · BAAI · Singapore Management University · IQuest Research
通过对齐token功能角色与实际注意力分配，改进RLVR中的跨模态协调
📌 工作参考价值（4 点）
- 多模态电商/推荐系统（如商品图文联合推理）可借鉴 token 功能角色划分思想，显式建模视觉感知与文本推理步骤的交替，减少幻觉或不一致。
- 在强化学习训练中，可引入基于注意力对齐的中间过程信号作为辅助奖励或重要性权重，而不仅依赖最终结果奖励，有助于提升生成序列的合理性。
- Fisher-Rao geodesic 距离可用于分析序列生成时模态内的注意力转移模式，作为一种新的可解释性工具，诊断多模态 Agent 的信息流问题。
- 对多模态 Agent 的 CoT 推理设计，可显式区分“提取视觉证据”步与“文本上下文推理”步，并加入对齐约束，提高决策准确性。
GenClaw：代码驱动的Agent式图像生成
🧭 Agent · 代码中介的可控图像生成 ★ 深度解读
Tencent Hunyuan · Sun Yat-sen University · Tsinghua University · The Chinese University of Hong Kong
提出代码驱动的Agent式图像生成范式，通过构思→草图→上色三层解耦，用可执行代码作为中间画布，大幅提升空间可控性与可解释性。
📌 工作参考价值（4 点）
- 代码驱动布局可迁移至商品图模板生成：电商场景中需要精确控制多个商品的位置、数量、文字信息（如促销标签），借鉴GenClaw用SVG/HTML构建结构化草图再渲染的思路，可将布局规划与纹理生成解耦，减少对象计数错误与属性绑定失败。
- 分层编辑机制降低局部修改对非目标区域的破坏：当需要修改主图中某一元素（如替换商品、移动logo）时，利用SAM分割后组织为JSONL图层，仅对目标层做编辑，可显著提升编辑一致性（文中PSNR从20以下提升到27.87），这对电商主图的迭代优化很有价值。
- 搜索增强认知层可弥补模型知识滞后：在生成含有最新赛事、节气、明星同款等时效性信息的商品图时，Agent主动搜索并结构化事实再写入代码画布，避免直接让生成模型凭空想象，提升文案准确性和知识可信度。
- 代码中介的物理/几何推理可用于商品场景模拟：当需要生成商品在特定环境下的摆放效果（如光照反射、堆叠结构）时，先通过Three.js等构建物理/几何草图作为约束，再交给渲染模型，能提升复杂空间关系的生成稳定性。
MotiMotion：基于视觉推理的运动控制视频生成
🧭 视觉推理驱动的运动控制视频生成
University of California, Merced · Adobe Research
将运动控制重新定义为推理-生成问题，利用免训练VLM预测因果连带的二次运动并引入置信度感知控制来提升自然性。
📌 工作参考价值（4 点）
- 对商品视频生成：可借鉴利用预训练VLM对稀疏的产品交互指令（如“开箱”“倾倒液体”）进行推理，自动补全液体飞溅、包装形变等二次运动，生成更符合物理常识的营销视频，减少逐帧精细轨迹的人工设计。
- Agent规划中的置信度调控：将置信度感知的控制策略迁移到多智能体协作中，当规划子任务置信度低时由模型先验知识自主修正，在高置信步骤严格遵循指令，提升整体鲁棒性和任务成功率。
- 免训练推理器的快速集成：该方法不微调VLM，可快速适配电商多模态场景（如智能客服对复杂请求的意图推理）而不引入模型漂移，且推理成本低。
- 构建交互基准的评测思维：在推荐系统中可借鉴构建聚焦因果合理性的评测集（如推荐理由是否含因果矛盾），配合VLM自动化评估，减少人工评估成本。
ATLAS：一个词同时实现Agentic与潜在视觉推理
🧭 视觉推理 · 功能token
用单一离散功能token统一agentic操作与潜在视觉推理，无需视觉监督，兼容标准训练
📌 工作参考价值（4 点）
- 功能token设计思路：在多模态对话或视觉Agent中，可将复杂视觉操作封装为离散token，避免生成中间图像，大幅降低计算开销。
- LA-GRPO训练技巧：当行为token稀疏时，用静态加权的辅助目标锚定功能token，可稳定强化学习训练，适合电商Agent中稀疏动作（如工具调用）的场景。
- 兼容性优势：功能token保持标准词表内，无需修改模型架构或训练流程，可直接融入现有LLM SFT和RL管线，工程移植成本低。
- 可解释性增强：功能token为内部操作提供明确语义锚点，便于业务中审计Agent决策路径，提升系统透明度。